Năm 1958, Giáo hoàng Piô XII qua đời. Cái chết của vị Giáo hoàng này đánh dấu việc chấm dứt một kỷ nguyên cũ. Một số người không chắc chắn cái gì trong Giáo hội sắp bắt đầu. Khi các hội Hồng y họp nhau tại nhà nguyện Sistine để bầu một người kế vị, mọi người đều hy vọng rằng sẽ không có gì thay đổi. Hầu hết các hồng y có mặt đều muốn một ai đó sẽ tiếp tục đường lối lãnh đạo cứng rắn và bảo thủ của Giáo hoàng Piô XII. Nhưng không ai trong số những người nhiều phiếu có thể đạt được đủ số phiếu để đắc cử. Cuối cùng một thỏa thuận đã đạt được. Các hồng y quay sang một Hồng y 76 tuổi tên là Angelo Roncalli (1881 – 1963). Nhìn nhận chung bấy giờ, đây là một vị Giáo hoàng chuyển tiếp, quá già và không thể gây hại được gì.

Giáo hoàng Gioan XXIII là một người Ý mập mạp, có khuôn mặt giống như khuôn mặt trong bức tranh của Michelangelo, có xuất thân từ một gia đình nông dân miền bắc Ý. Nhưng bất kể vẻ bề ngoài có là gì đi nữa, thì ông vẫn là một giáo sĩ khôn ngoan và dày dạn. Nhận chức linh mục năm 1904, ông từng làm giáo sư chủng viện Bergamo, rồi làm tuyên úy suốt thời Chiến tranh thế giới thứ nhất, và làm tư vấn cho sinh viên đại học. Hầu hết sự nghiệp của ông đều ở ngoài thành Rôma, trong tư cách là người ngoại giao của Giáo hoàng. Ông từng là đại diện cho Vatican tại Bulgary và Thổ Nhĩ Kỳ, vì thế có một sự hiểu biết sâu sắc về Kitô giáo Chính thống cũng như đã quen thuộc với ngôn ngữ và những vấn đề của Đông Âu. Năm 1944, ông được bổ nhiệm làm Khâm sứ Tòa thánh tại Pháp, và đã được chứng kiến những cuộc canh tân thần học và mục vụ. Suốt thời gian này, ông đã làm bạn với một nhóm đại kết Tin Lành, đang muốn sống đời đan tu trong một ngôi làng nhỏ tại Bulgary là Taizes.

Ý nghĩ triệu tập Công đồng là một "linh ứng" đặc biệt của Gioan XXIII. Tuy nhiều người nghĩ rằng Gioan XXIII sẽ là một Giáo hoàng yên ổn, nhưng ông công bố ý định triệu tập Công đồng Vatican II chưa đầy 3 tháng sau khi đăng quang tháng 10 năm 1958. Vào ngày 25 tháng 1 năm 1959, Gioan XXIII và 17 hồng y, nhiều người trong số các hồng y ấy thuộc giáo triều Rôma, đã gặp nhau tại Vương cung Thánh đường Thánh Phaolô để đọc kinh chiều kết thúc tuần kinh bát nhật cầu nguyện cho các Kitô hữu hiệp nhất. Trong một vài lời ngắn gọn, vị Giáo hoàng đã tuyên bố rằng người có ý định triệu tập một công đồng đại kết. Ông nói: "Chúng ta hãy hiệp nhất với nhau và chúng ta hãy chấm dứt mọi bất hòa". Trước khi kết thúc giờ kinh chiều hôm ấy, ông đã thêm lời cầu nguyện cho "việc mời gọi các tín hữu thuộc các cộng đoàn ly khai để họ cũng được theo chúng ta cách hòa nhã trong tìm kiếm sự hợp nhất và ân sủng mà nhiều linh hồn trên toàn thế giới này đang khao khát". Các hồng y chào đón lời tuyên bố này bằng sự im lặng ngột ngạt. Tại sao một vị tân Giáo hoàng lại không thể để yên mọi sự? Việc cuối cùng giáo triều Rôma muốn là tập họp tất cả các Giám mục của Giáo hội lại, nhất là những vị tiến bộ hơn tại Pháp, Đức, Áo, Ba Lan, Bỉ và Hà Lan.

Điều căn bản mà Gioan XXIII tin tưởng Giáo hội cần phải nhìn vào "những dấu chỉ của thời đại", để có thể đáp ứng nhu cầu cần thiết của thời đại. Ông đã sử dụng một thuật ngữ Ý là aggiornamento, có nghĩa là "cập nhật hóa", một từ ngữ có người cho là gần gũi một cách nguy hiểm với những cải cách của Martin Luther. Gioan XXIII có thể đã sử dụng từ "cải cách", nhưng ông rất thận trọng để không làm hoảng sợ những ai có thể chống đối canh tân hoặc là, quả thực, bất kỳ thay đổi triệt để nào. Gioan XXIII phát biểu rằng Công đồng này sẽ là một Công đồng Mục vụ.

Trong khi triệu tập một Công đồng gọi là Vatican II, Giáo hoàng Gioan XXIII cũng đã cho thấy rõ ràng đây phải là một Công đồng đại kết đối với toàn thể Giáo hội. Trong những tháng tiếp theo, ông đã làm sáng tỏ những mục đích của mình đối với Công đồng. Trước hết, ông muốn công đồng này là một aggiornamento, một sự canh tân, chính xác hơn là việc làm cho "Giáo hội Công giáo thành hợp thời hơn".

Hai là sự hiệp nhất Kitô giáo phải là một ưu tiên hàng đầu của Công đồng; thật ra đây đã là mục đích của ông ngay từ đầu, và để phát huy những chủ đích đại kết của mình, Gioan XXIII đã có một số bước cụ thể, mỗi bước đều có tính biểu tượng cao. Bước thứ nhất, xin các giáo hội Chính Thống và Tin Lành đề cử các quan sát viên chính thức; Bước thứ hai, sắp xếp để họ ngồi ở một chỗ danh dự trước Vương cung Thánh đường Thánh Phêrô gần chỗ dành cho các Hồng y. Sau cùng, thiết lập một thánh bộ mới, Văn phòng Phát triển sự hợp nhất các Kitô hữu, có trách nhiệm đưa Giáo hội Công giáo Rôma vào phong trào đại kết và cắt cử nhân sự Văn phòng này vào việc phục vụ các quan sát viên. Tinh thần hiệp nhất đã trở nên niềm hy vọng và là động lực hướng dẫn cho Công đồng, cũng như sau này sẽ là một trong những thành quả hiển nhiên nhất của Công đồng.

Nguồn tin Giáo hoàng Gioan XXIII loan báo triệu tập Công đồng đã làm cho toàn thế giới ngạc nhiên; hầu như không một ai chờ đón và nghĩ tới sự kiện đó. Trong thực tế, sự im lặng sửng sốt bao trùm lên chính một số các hồng y, những người từng trưởng thành quen thuộc với khái niệm không cần phải thay đổi điều gì. Nhưng khi biết chắc không thể thuyết phục Giáo hoàng từ bỏ ý định triệu tập Công đồng, các vị lãnh đạo thuộc giáo triều đã lên kế hoặc để Công đồng đều nằm trong sự kiểm soát của mình. Mười ủy ban và hai văn phòng được thiết lập để chuẩn bị cho Công đồng đều được khéo léo giao cho các viên chức thuộc các thánh bộ tương ứng.

Nhưng trong hai cuộc nói chuyện quan trọng, Giáo hoàng đã nói rõ cho các Giám mục đang họp tại Công đồng rằng công việc của công đồng là công việc của Giám mục. Trong cuộc nói chuyện trên đài phát thanh ngày 11 tháng 9 năm 1962, Gioan XXIII đã đề cập tới việc Giáo hội có nhu cầu phải nói đến vấn đề hòa bình, bình đẳng và quyền của mọi dân tộc, những vấn đề của các nước phát triển, và nỗi khốn cùng quá nhiều người đang gặp phải, và cho rằng Giáo hội được đặt để trên trần gian này với tư cách là "Giáo hội của mọi người nhất là của người nghèo". Các ủy ban trù bị đã không nêu ra bất cứ một chủ đề nào trong các chủ đề này cả.

Rồi, vào ngày 11 tháng 11 năm ấy, trong bài nói chuyện chính thức khai mạc Công đồng, ông đã kêu gọi 2.500 Giám mục trên toàn thế giới đang cử hành phụng vụ trong Vương cung Thánh đường Thánh Phêrô, đừng nhìn vào quá khứ mà hãy hướng vào tương lai. Tách mình ra khỏi "các tiên tri chán chường chỉ biết tiên báo tai họa" (nghĩa là những người chỉ trích ông trong giáo triều), Giáo hoàng nói rằng Công đồng không phải là việc bàn về giáo lý căn bản này giáo lý căn bản khác, mà là "một bước tiến đến chỗ thông suốt giáo lý và hình thành nên một ý thức" trung thành với giáo lý đích thực của Giáo hội, nhưng là một thứ giáo lý "phải được nghiên cứu và đào sâu nhờ những phương pháp nghiên cứu và nhờ những hình thức văn chương của các tư tưởng hiện đại". Khẳng định sau đây về việc canh tân ngôn ngữ của Giáo hội của Giáo hoàng Gioan XXIII đã được trích dẫn nhiều nhất: "Bản chất của các giáo lý xưa trong kho tàng đức tin là một chuyện, và cách thức trình bày giáo lý ấy lại là chuyện khác"

"Tôi muốn mở lớn các cửa sổ Giáo hội cho chúng ta nhìn ra được và công chúng nhìn vào được". Đã có một cuộc tranh luận về lời phát biểu này của Giáo hoàng Gioan XXIII. Một số người bảo thủ nói Giáo hội không cần thiết phải thay đổi điều gì; còn những người lãnh đạo phái tự do trong Giáo hội lại nhấn mạnh rằng mỗi sự vật sống động thì phải là phát triển hay tàn lụi. Nhưng chính những lời phát biểu của Giáo hoàng lúc khai mạc Công đồng Vatican II đã có tầm ảnh hưởng quan trọng. Gioan XXII đã phát biểu rằng ông không muốn Giáo hội trở thành một lăng tẩm – rằng các Nghị phụ phải tiến hành một "bước tiến nhảy vọt" bằng cách làm cho Tin Mừng trở nên tương quan mật thiết với mọi người đang sống trên hành tinh ngày nay.

Vài nhà bình luận tin rằng đây là điều quan trọng nhất mà Gioan XXIII chưa từng bày tỏ. Với những lời lẽ như vậy, Giáo hoàng báo hiệu đã đến lúc Giáo hội phải ra khỏi những bức tường thành. Các vị Giáo hoàng trong các thế kỷ 18 và 19 đã từng chiến đấu với những thế lực của thế giới mới, đặc biệt là thế lực thuộc về thời Ánh sáng đã đưa tới cuộc cách mạng Pháp vào năm 1789, và tất cả những trào lưu thế tục tương tự hướng về nền dân chủ và tự do.

Giáo hoàng Gioan XXIII đã nhận định đúng đắn và có một tầm nhìn lạc quan về thế giới đã được Đức Kitô cứu chuộc, một thế giới trong đó sự cứu rỗi vẫn còn đang tiếp diễn. Điều này cho phép Giáo hoàng nói "Có" với thế giới này và lịch sử. Ông hiểu rằng nếu có điều gì để ghi dấu ấn thế kỷ XX thì đó là sự không còn chỗ cho quyền lực nữa, từ những định chế ưu tuyển nhất cho đến mọi người dân. Và ngài đã thấy sự ra đi ấy như là điều thiện hảo. Vì dân Chúa đã và đang lớn mạnh, thoát ra khỏi cái mà ta gọi là "Não trạng duy giáo lý", vốn chỉ đặt nền tảng cho việc sống đạo là làm sao có những giải pháp tức thời, hơn là đặt nền trên việc có biết nêu lên những vấn đề quan trọng hay không.

Mặc dù có một vài vị cố vấn Giáo hoàng nói là chưa được sẵn sàng, nhưng Giáo hoàng Gioan XXIII vẫn muốn công đồng phải được bắt đầu. Các bác sĩ của Giáo hoàng nhận định rằng ông đang chết dần với căn bệnh ung thư cũng là một dấu hiệu không còn thời gian để trì hoãn nữa. Nếu như Gioan XXIII không đưa công việc tiến hành ngay, thì không còn gì bảo đảm rằng những người kế nhiệm có thể theo đuổi chút gì cho Công đồng chăng. Dù rằng Giáo hoàng Piô XII đã dự trù một công đồng sau Chiến tranh thế giới thứ hai, nhưng những kế hoạch này không thành vì những tâm hồn thận trọng bên trong giáo triều Rôma, và với chủ nghĩa cầu toàn của chính bản thân Giáo hoàng. Còn Gioan XXIII rất hài lòng để cho công việc diễn ra. Ông đã trích dẫn lời G. K. Chesterton: "Nếu một việc gì đáng làm, thì nó rất đáng được thực hiện ngay."

Như vậy, mặc dù bối cảnh xã hội và Giáo hội đặt ra những yêu cầu bức thiết cho sự ra đời một công đồng chung; nhưng cũng không quá lời khi nói rằng sẽ không có (hay ít nhất là chưa có) một công đồng mang tên Vatican II nếu như không có sự nỗ lực của Giáo hoàng Gioan XXIII.